实习派 | 助力 Microsoft Teams 不断升级，聚焦真实问题做有影响力的前沿研究
新冠疫情的爆发使线上办公、在线课堂成为常态，许多问题也随之而来：杂乱的背景、乱入的家人、尴尬的噪声……在过去的一年多里，作为一款集成了会议、协作、聊天与通话的重磅产品，微软 Microsoft Teams 不断升级迭代，以便更好地支持人们远程协作的需求。其中，广受用户好评的全新噪声抑制功能、高效的视频流码率分配优化功能和独具特色的 Together Mode（同聚一堂模式）功能均源于微软亚洲研究院多媒体计算组与 Teams 产品组的深度合作。
在这些备受瞩目的全新功能背后，有三位微软亚洲研究院的实习生为 Microsoft Teams 添了一份属于自己的色彩。他们有的原本以为自己会匆匆路过这里，却在前沿研究与产品创新两个方面都收获累累硕果；有的勇敢尝试从未踏足的研究领域，开创了一片属于自己的新天地；还有的正处在科研初期的迷茫阶段，在探索中迈出坚实脚步…… 让我们跟随着他们的故事，一起探寻学子们在被誉为“人才摇篮”的研究院里的成长，也让我们一起看看当他们面对“如何选择与平衡做科研与做产品”这个科研人的永恒命题时，交出了什么答卷。
张航：
论文与产品 “一箭双雕”，
使命感驱动下的探索
来自北京大学图灵班的张航，在 MSRA 的实习阶段刚好与全球疫情肆虐的时期相重合，他所从事的 Teams 视频流码率分配研究，也是 Teams 在优化使用效果方面的重要探索。“在参与 Microsoft Teams 相关的研究时，我感觉疫情给人们工作生活模式带来了巨大的变化，这也驱使着我努力推动 Teams 新功能相关的研究与应用尽快落地。”
在视频会议中，分享者常常需要在共享屏幕的同时开启摄像头以便于互动。视频会议软件需要在有限的网络带宽下对这两路视频流同时进行编码，这里即涉及到对两个视频流的带宽分配问题。在传统的基于策略的分配方法中，由于灵活度不高，导致很多网络带宽被浪费；同时，屏幕共享与摄像头捕捉的视频流之间带宽竞争严重，使两者的画质都得不到提升且用户体验不佳。
经过研究发现，视频会议中的屏幕共享在不同的场景下存在不同的特性。张航在 mentor 李斌和李嘉豪的带领下利用深度强化学习，让神经网络学会理解和判断这些特性，从而达到对视频会议用户体验的优化。
这个来源于真实场景的用户视频体验问题，为他们解决多路视频流联合编码的研究带来了灵感，他们的研究论文发布于学术期刊 TCSVT 上，在审稿过程中获得了审稿人的高度评价。“李斌老师得到消息后高兴地直接打电话告诉我，这是他这么多年见到的最好的论文回复之一。”张航说。
审稿人对论文的部分回复
在来到 MSRA 之前，张航研究的是 Robotics，刚进入项目组的时候，因为在视频编码和深度学习方面缺乏知识积累和科研经验，让他面对着不小的挑战。mentor 李斌和李嘉豪在指点他“恶补”领域知识的同时，也指导他解决模型训练中遇到的各类问题。“李斌老师会更关注于明确产品需求的讨论，李嘉豪老师则在代码实现方面充分展现自己扎实的专业技能。他们不会居高临下地发布命令，而是基于讨论，给我一些方向性的指点。在我看来他们更像是路途中遇到向导，与我并肩前行，并用丰富的经验带领我去欣赏壮丽的风景。”
在一次模型训练的过程中，张航的模型输出的一直是一个恒定值，进行调试之后也仍然显示异常值，他查阅了很多深度强化学习 reward function 的有关资料，却没有什么方法能够应用到他们的场景当中。最后两位 mentor 与他一起头脑风暴，开创性地将人的经验作为规则加入 reward function 进行模型训练，获得了很好的效果。
和两位 mentor 一起 debug，一起寻找他人鲜少涉猎的问题的解决思路，张航受益颇多：“他们不仅在自己的领域非常精通，把视频编码研究得非常透彻，也在不断扩大知识新边界，把他们曾经并不熟悉的深度强化学习转化成了应用自如的工具。资深的 mentor 也在实践中不断挑战新问题的事实让我领略了微软所推崇的 growth mindset，让我非常敬佩。”
张航（一排右二）与组内实习生合影
“张航做事情很专注，学东西也非常快，自驱力也非常强。逐渐地，我们不需要给他细分 topic 他也能够游刃有余地完成，通过这个项目，感觉他的科研真正入门了。” mentor 李斌这样评价张航。
在 MSRA，张航找到了自己对科研的兴趣和热爱，让新问题带来挑战性变成了自己前进的动力，也感受到研究与真实的工业界需求本就是相辅相成，共同进步，并无不可逾越的鸿沟。“想到我参与的工作，为新冠疫情下使用 Teams 进行协作的团队和个人提供了更好的视频会议质量，提高了大家居家办公的效率与积极性，也算是为大家复工复产、抗击疫情做出了自己的一些贡献吧。” 这段付出让他有机会在更为宏观的层面对社会有所贡献，也是张航倍加珍惜的这段宝贵经历的重要意义所在。
郑澄瑜：
面对未知极限拓荒，
激发潜能加速成长
经导师中国传媒大学张远教授介绍来到 MSRA 实习的郑澄瑜，是中国传媒大学通信与信息系统专业硕博连读二年级的学生，在 Teams 基于深度学习的音频去噪项目中，她主要负责前期调研和模型训练代码的编写工作。于她而言，这是一段极限拓荒的经历，也是一段“不拼一把永远不知道自己有多优秀”的深刻体验。
基于深度学习的音频去噪，是微软亚洲研究院多媒体计算组为提高实时通信质量的重要研究项目，在 Teams 的应用场景下，为了避免各种在线会议期间令人尴尬的“装修声”、“除草声”、“键盘声”等等，实时音频降噪功能显得十分重要。
澄瑜在学校主要从事通信与信息系统中智能音视频技术方面的研究，接到项目任务时的澄瑜，对语音领域几乎一无所知。早期调研时期，连寻找合适的文献对她来说都非常具有挑战性。但她在困难面前没有畏缩，而是立刻补充了大量语音领域的知识并调研学习了该领域最新的研究进展，最后她不仅顺利地完成了与 Teams 产品组的合作工作，还将自己在深度学习噪声抑制领域的另一个 idea 发表在了 AAAI 2021 上。在这个从无到有的过程中，碰到的所有问题都成了推动她快速学习的力量。
“我感觉在学校实验室的时候，很多事情也许没有时间紧迫感，所以我的调研能力不会像完成这次工作一样这么快地提升。”调研初期，澄瑜直接与 Teams 产品组进行沟通，和美国的同事一起确定工作流程和完成时间节点，“在和他们交流的过程中，英语能力提升得非常快，也让我对明确对方需求内容有了更深层次的理解，同时我也需要不断地学习新的知识来应对新的需求。”
在未知的领域探索时，澄瑜有两种方法让自己快速理解不明白的知识，一是将新学的知识与方法应用到一些自己熟悉的已知问题中，二是通过在新项目中实践检验自己对于新知的掌握程度。在她的不懈努力下，语音领域的小白成了可以独当一面的研究者，mentor 们经验指导也给她带来了很多启发。
“我特别感谢 mentor 彭秀莲，她的工作方式深刻地影响了我，让我学会了如何高效且有条不紊地推进工作。”在一次验证不同因素对于模型影响的实验中，澄瑜采用单一对应的方式导致进展缓慢，秀莲建议她用组合验证的方式，获得了事半功倍的效果。“组里 Group Manager 吕岩老师也非常关心我们研究项目的进度，在我没有头绪的时候给予了很多方向性的建议，让我更快地寻找到解决问题的方法。“
在 mentor 彭秀莲的眼中，郑澄瑜的认真踏实和勇敢尝试令人印象深刻。“澄瑜最让我感到惊喜的还是她惊人的实现速度，我们在讨论之后产生的想法都能被她很快地实现，而且不管她的工作之前做过还是没做过，她都非常愿意尽自己所能去尝试。“
“我其实是一个走一步看一步的人，但在这里，mentor 的指导和小伙伴的建议都让我更坚定在科研道路上走下去。” 在 MSRA 遇到的全新项目与前沿问题，让这个挑战精神和动手实践能力兼备的优秀博士生快速提升了各项能力，而在与 mentor 一起努力下实现的 Teams 新功能落地与论文发表，也给她带了双重成就感。
郑澄瑜（左四）与组内实习生合影
祁琳峰：
体验工业界创新模式，
练好独立科研基本功
作为一名刚刚结束本科阶段不久的科研“萌新”，中国科学技术大学与微软亚洲研究院的联培博士生祁琳峰直言自己还存在着很多对科研和工程的疑虑。“在学校学习的时候，我们也常常会通过完成项目大作业来检验学习成果，但我那时候总感觉那些项目与工业界的真实问题相距甚远。”
大四的时候来到 MSRA 多媒体计算组实习的祁琳峰，在mentor 王婧璐的指导下从事 Teams Together Mode （同聚一堂模式）自动取景功能的研究与实现，他们通过估计人头的三维位置和大小来确定取景区域和比例，让人们自然地在数字会议室里欢聚一堂。这个项目在发布之前曾经有幸亮相于为微软 CEO Satya Nadella 组织的 Review 中，琳峰也参与了准备工作。从一个 idea 到 Teams new feature 的发布，琳峰感觉到自己不仅在代码实现、编程经验和独立科研方面都实现了质的飞跃，也初步体验了工业界推动创新的模式与流程。
Teams Together Mode（同聚一堂模式）示例
首次接触来自工业界的真实问题，工作带来的紧张一度冲淡了琳峰探索全新领域的新鲜感。在疫情的限制下，他的一部分工作通过远程进行，理解问题上的偏差和对科研的不自信让他的研究初期如履薄冰。
“mentor 婧璐会在研究初期为我制定一些细致的工作计划，按部就班地引领着我去实现相对长远的目标，通过对每一个细小任务的问题展开和改进，我也逐步获得了独立思考和处理问题的能力。”渐渐地，琳峰和 mentor 婧璐的一对一会议从一周两次变成一周一次，从遇到问题直接求助 mentor 到主动地独立思考解决方案，他在推动项目的过程中也渐渐成长为更加成熟的“科研人”。
参与 Teams Together Mode（同聚一堂模式）的研究，首先锻炼的是琳峰的动手实践能力，“通过 Teams 这个项目，我积累了比较多的编程经验，尤其是通过阅读其他人的代码之后，在不影响其他的功能的前提下，去添加我的新功能。”除此之外，身处与 mentor 和实习小伙伴们自由的交流环境也为他的各项能力提升加速助力。
“我自己读论文的能力并不是很强，比较缺乏提炼论文观点的能力，感觉身边许多跟我一样的低年级同学有类似的感觉。”为了提高自己的研究基本功，琳峰也曾主动加入沈向洋博士带领大家读论文的活动，“经过暑期密集的短期训练，和其他实习生们一起分享，不仅提高了提炼论文观点的能力，也让我将自己的思考和他人分享，相互印证，互相补充，有时也能有更多观点的碰撞和新的思考。”
“在琳峰身上，我看到了难能可贵的可塑性，他所承担的工作对于当时还是本科生的他非常具有挑战性，”琳峰的mentor 婧璐这样评价，“通过与 Teams 产品组的合作，他能够学到很多解决实际问题的方法，代码实现能力和科研能力都得到了显著提升，相信这为他未来的读博生涯打下了坚实的基础，理论与实践能力兼具的优秀博士生是我们培养的目标。”
“我希望用四个词语来概括我在 MSRA 的实习体验：新鲜、开阔、沉淀与展望。”初探工业界的真实需求的经历，给琳峰带来了面对挑战的新鲜感，而微软亚洲研究院提供的科研训练，以及与其他实习生自由开放的沟通交流，开阔了他的研究视野。“我现在希望能够继续在MSRA 积累沉淀，不断提高自己的修养，以一位优秀博士生的身份走向我的未来。
祁琳峰（中）与组内实习生合影
在微软亚洲研究院，有许多的实习生像他们三人一样，聚焦真实问题，在推动最前沿研究的同时，用创新的方式满足产业界的真实需求。见证并参与到微软惠及全球亿万级用户的产品进化历程中的他们，也在不断地优化和提升自身的能力，为下一次在创新之路上远征养精蓄锐，静待着下一次勇敢而坚定的启程。
微软亚洲研究院多媒体计算组实习生持续招募中，欢迎感兴趣的同学点击下方链接找寻适合你的岗位投递简历~
你可能还想看：
点击“阅读原文”，寻找适合你的岗位吧~